# coding=utf-8
import requests
from bs4 import BeautifulSoup

resp = requests.get('https://www.baidu.com')  # 请求百度首页
print(resp)  # 打印请求结果的状态码
print(resp.content)  # 打印请求到的网页源码

bsobj = BeautifulSoup(resp.content, 'lxml')  # 将网页源码构造成BeautifulSoup对象，方便操作
a_list = bsobj.find_all('a')  # 获取网页中所有的<a> 标签

# 打印爬取到的内容
# for a in a_list:
#     print(a.get('href'))  # 打印a标签对象的href属性，即这个对象指向的链接地址

# 将爬取到的内容保存（文本）
text = ''
for a in a_list:
    href = a.get('href')
    text += href + '\n'

with open('../output/url.txt', 'w') as f:
    f.write(text)

